【非公式】不定期刊 Embulk/Digdagニュース [2016/06/26版]
こんにちは、最近Embulk(エンバルク)とDigdag(ディグダグ)を調べている川崎です。
このブログでは、不定期刊 Embulk/Digdagニュースとして、非公式(勝手)にEmbulk/Digdag(あとFluentdも)のトピックをまとめていきたいと思います。
初めに
Embulkの開発背景 Embulkは、もともとはバルクデータ収集と同期システムを刷新するために、 筆者の所属するTreasure Dataで開発が始まりました。2014年9月に開発を開始し、 クラウドサービスであるTreasure Dataのシステムから多くのコードを転用し、 約4ヵ月後の2015年1月に最初のバージョンをリリースしました。 現在も頻繁にリリースが繰り返されている、活発なオープンソースプロジェクトです。 技術評論社 WEB+DB PRESS vol.92 特集2 Fluentd/Embulkによるログ&マスタデータの活用 第3章「Embulkによるバッチデータ収集」より引用
「Treasure Dataのシステムから多くのコードを転用」したものを、オープンソースで公開してしまうなんて、何という太っ腹でしょうか!(したたかな戦略によるものだというのは、今回のトピックからも理解できる訳ですが)これからも同社のオープンソースプロダクトをウォッチしていきたいと思います。
Digdagリリース以降
という訳で、今回のトピックをまとめていきたいと思います。
- 2016/06/15
- Digdag公開 ちなみに、最初の内部リリースは0.2.0で、日付は2016/02/15のようです。 (リリースノートから)
- 2016/06/16
- 【ブログ】【Developers.IO】Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag
- 2016/6/18
- 第五回ゲームサーバ勉強会「EmbulkやDigdagのお話」スライド:EmbulkとDigdagとデータ分析基盤と Digdagのアイコンがどんなものになるのか、気になります。
- 2016/06/20
- 【ブログ】【雑なメモ】Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る
- 【ブログ】【techium】ワークフローエンジンDigDagのサーバ/クライアント構成を試してみる
- 2016/06/21
- 2016/06/22
- 【ブログ】【Developers.IO】Digdag + EmbulkによるTSVファイルのS3→Redshiftロード #digdag
- 2016/06/24
- Fluentd/Embulk/Digdag meetupの企画(@frsyuki) インサイトテクノロジーさんのdb tech showcase Worldwide 2016@Sapporoが開催される、7月9日(土)の前後辺りかと。
以上、[2016/06/26版]の不定期刊 Embulk/Digdagニュースでした!